持续学习的现有工作（CL）的重点是减轻灾难性遗忘，即学习新任务时过去任务的模型绩效恶化。但是，CL系统的训练效率不足，这限制了CL系统在资源有限的方案下的现实应用。在这项工作中，我们提出了一个名为“稀疏持续学习”（SPARCL）的新颖框架，这是第一个利用稀疏性以使边缘设备上具有成本效益的持续学习的研究。 SPARCL通过三个方面的协同作用来实现训练加速度和准确性保护：体重稀疏性，数据效率和梯度稀疏性。具体而言，我们建议在整个CL过程中学习一个稀疏网络，动态数据删除（DDR），以删除信息较少的培训数据和动态梯度掩盖（DGM），以稀疏梯度更新。他们每个人不仅提高了效率，而且进一步减轻了灾难性的遗忘。 SPARCL始终提高现有最新CL方法（SOTA）CL方法的训练效率最多减少了训练失败，而且令人惊讶的是，SOTA的准确性最多最多提高了1.7％。 SPARCL还优于通过将SOTA稀疏训练方法适应CL设置的效率和准确性获得的竞争基线。我们还评估了SPARCL在真实手机上的有效性，进一步表明了我们方法的实际潜力。
translated by 谷歌翻译
在车辆场景中的毫米波链路的光束选择是一个具有挑战性的问题，因为所有候选光束对之间的详尽搜索都不能在短接触时间内被确认完成。我们通过利用像LIDAR，相机图像和GPS等传感器收集的多模级数据来解决这一问题。我们提出了可以在本地以及移动边缘计算中心（MEC）本地执行的个人方式和分布式融合的深度学习（F-DL）架构，并研究相关权衡。我们还制定和解决优化问题，以考虑实际的光束搜索，MEC处理和传感器到MEC数据传送延迟开销，用于确定上述F-DL架构的输出尺寸。在公开的合成和本土现实世界数据集上进行的广泛评估结果分别在古典RF光束上释放出95％和96％的束选择速度提高。在预测前10个最佳光束对中，F-DL还优于最先进的技术20-22％。
translated by 谷歌翻译
当结果具有高维度时（例如基因表达，脉冲反应，人类的面部）和协方差相对有限，对传统因果推理和监督学习方法的估算是一项具有挑战性的任务。在这种情况下，要在反事实治疗下构建一个人的结果，至关重要的是要利用其在协变量之上观察到的事实结果中包含的个人信息。我们提出了一个深层的变异贝叶斯框架，该框架严格整合了在反事实处理下进行结果构建的两个主要信息来源：一个来源是嵌入高维事实结果中的个体特征；另一个来源是实际收到这种利益疗法的相似受试者（具有相同协变量的受试者）的响应分布。
translated by 谷歌翻译
本文提出了一种转移学习方法，以重新校准我们先前开发的车轮探针神经网络（WHONET），以在全球导航卫星系统（GNSS）不可用的环境中进行车辆定位。已显示WHONET具有学习车轮速度测量中不确定性的能力，以校正和准确的车辆定位。这些不确定性可能表现为轮胎压力从泥泞和不平坦的地形或车轮滑动中的驾驶变化。但是，关注数据驱动方法（例如WHONET模型）的共同原因通常是无法将模型推广到新车。在机器学习模型在特定领域进行培训但部署在另一个领域的情况下，该模型的性能降低了。在现实生活中，从变化到车辆的动力学到传感器噪声的新模式分布，有几个因素对这种降解有影响，偏见会使测试传感器数据的数据因训练数据而异。因此，挑战是探索允许训练有素的机器学习模型自发适应新车辆域的技术。因此，我们提出了重新校准的轮循环神经网络（R-WHONET），该神经网络将WHONET模型从其源域（最初训练该模型的车辆和环境）适应到目标域（一种新车辆，在其上进行了训练）。训练有素的模型将被部署）。通过在几个GNSS中断场景上进行性能评估 - 短期复杂驾驶方案以及长期GNSS中断方案。我们证明，在源域中训练的模型并不能很好地推广到目标域中的新车辆。但是，我们表明，我们的新提议的框架将WHONET模型对目标域中的新车辆的概括提高了32％。
translated by 谷歌翻译
迄今为止，游戏中的学习研究主要集中在正常形式游戏上。相比之下，我们以广泛的形式游戏（EFG），尤其是在许多代理商远远落后的EFG中对学习的理解，尽管它们与许多现实世界的应用更加接近。我们考虑了网络零和广泛表单游戏的天然类别，该游戏结合了代理收益的全球零和属性，图形游戏的有效表示以及EFG的表达能力。我们检查了这些游戏中乐观梯度上升（OGA）的收敛属性。我们证明，这种在线学习动力学的时间平均值表现出$ O（1/t）$ rate contergence convergence contergence contergence。此外，我们表明，对于某些与游戏有关的常数$ c> 0 $，日常行为也与速率$ o（c^{ - t}）$收敛到nash。
translated by 谷歌翻译
我们可以将异源图结构与文本结合在一起以学习高质量的语义和行为表示吗？图形神经网络（GNN）S编码数值节点属性和图形结构，以在各种监督的学习任务中实现令人印象深刻的性能。当前的GNN方法受到文本特征的挑战，文本特征通常需要编码为数值向量，然后再提供给GNN，这可能会导致一些信息损失。在本文中，我们提出了一个有效有效的框架，称为语言模型GNN（LM-GNN），以共同训练大型语言模型和图形神经网络。我们的框架中的有效性是通过首先使用异质图信息，然后使用GNN模型应用BERT模型的阶段微调来实现的。提出了几种系统和设计优化，以实现可扩展有效的培训。 LM-GNN可容纳节点和边缘分类以及链接预测任务。我们在不同数据集的性能中评估了LM-GNN框架，并展示了所提出方法的有效性。 LM-GNN在亚马逊查询购买应用程序中提供竞争结果。
translated by 谷歌翻译
具有数值节点特征和图形结构的图形神经网络（GNNS）作为输入显示出具有图形数据的各种监督学习任务的卓越性能。但是，GNN使用的数值节点特征通常是从大多数真实世界应用中的文本或表格（数字/分类）类型的原始数据中提取的。在大多数标准监督的学习设置中，使用IID（NON-GRAPH）数据的最佳模型不是简单的神经网络层，因此不容易被纳入GNN。在这里，我们提出了一个强大的堆叠框架，该框架将图形感知的传播与用于IID数据的任意模型融合在一起，这些模型是在多层中结合并堆叠的。我们的层面框架利用行李和堆叠策略来享受强有力的概括，从而有效地减轻了标签泄漏和过度拟合的方式。在各种具有表格/文本节点特征的图形数据集中，我们的方法相对于表格/文本和图形神经网络模型以及将两者结合的现有最新混合策略而获得了可比性或卓越的性能。
translated by 谷歌翻译
现代物联网（IoT）环境通过大量IoT启用的传感设备进行监视，并根据计算能力和能源的数据采集和处理基础架构设置限制。为了减轻此问题，通常将传感器配置为以相对较低的采样频率运行，从而减少了一组观测值。然而，这可能会妨碍随后的决策，例如预测。为了解决这一问题，在这项工作中，我们评估了在高度不确定的情况下的短期预测，即，传感器流的数量远高于观测值的数量。相对于五个不同的现实世界数据集的最终预测准确性，对几种统计，机器学习和基于神经网络的模型进行了彻底检查。将重点放在统一的实验协议上，专门针对物联网边缘的多个时间序列的短期预测设计。所提出的框架可以被视为在资源约束的物联网应用程序中建立可靠的预测策略的重要步骤。
translated by 谷歌翻译
哪些目标标签对于图形神经网络（GNN）培训最有效？在某些应用GNNS Excel样药物设计或欺诈检测的应用中，标记新实例很昂贵。我们开发一个具有数据效率的主动采样框架，即ScatterSample，以在主动学习设置下训练GNN。 ScatterSample采用称为不同确定性的抽样模块，从样品空间的不同区域收集具有较大不确定性的实例以进行标记。为了确保所选节点的多样化，不同的确定性簇群簇较高的不确定性节点，并从每个群集中选择代表性节点。严格的理论分析表明，与标准的主动采样方法相比，我们的ScatterSample算法进一步支持了其优势，该方法旨在简单地简单地提高不确定性，而不是使样品多样化。特别是，我们表明ScatterSample能够在整个样品空间上有效地减少模型不确定性。我们在五个数据集上的实验表明，散点样本明显优于其他GNN主动学习基线，特别是它将采样成本降低了50％，同时达到了相同的测试准确性。
translated by 谷歌翻译
许多现实世界图包含时域信息。时间图神经网络在生成的动态节点嵌入中捕获时间信息以及结构和上下文信息。研究人员表明，这些嵌入在许多不同的任务中实现了最先进的表现。在这项工作中，我们提出了TGL，这是一个用于大规模脱机时间图神经网络训练的统一框架，用户可以使用简单的配置文件组成各种时间图神经网络。 TGL包括五个主要组件，一个临时采样器，一个邮箱，节点内存模块，存储器更新程序和消息传递引擎。我们设计了临时CSR数据结构和平行采样器，以有效地对颞邻邻居进行制作微型批次。我们提出了一种新颖的随机块调度技术，该技术可以减轻大批量训练时过时的节点存储器的问题。为了解决仅在小规模数据集上评估当前TGNN的局限性，我们介绍了两个具有0.2亿和13亿个时间边缘的大型现实世界数据集。我们在四个具有单个GPU的小规模数据集上评估了TGL的性能，以及两个具有多个GPU的大数据集，用于链接预测和节点分类任务。我们将TGL与五种方法的开源代码进行了比较，并表明TGL平均达到13倍的速度可实现相似或更高的精度。与基准相比，我们的时间平行采样器在多核CPU上平均达到173倍加速。在4-GPU机器上，TGL可以在1-10小时内训练一个超过10亿个时间边缘的时期。据我们所知，这是第一项提出了一个关于多个GPU的大规模时间图神经网络培训的一般框架的工作。
translated by 谷歌翻译